Xã hội truyền thống của người Raglai được cấu trúc theo dòng tộc và khu vực cư trú. Người Raglai sống quy tụ theo tộc họ. Trong tộc họ, trưởng họ có quyền quyết định những công việc lớn. Điển hình có bốn dòng họ chính: 

• Chamalịa (có nghĩa là sợi dây máu - loại dây thừng to bằng ngón chân cái, rất dai, ruột đỏ như máu, đồng bào thường dùng dây đó để buộc, người Raglai do cho rằng màu đỏ là màu của sự xui rủi, là kiêng cữ nên gọi chệch thành họ Mấu) 
• Pupur (có nghĩa là cái bếp, nay gọi thành họ Tro)
• Katơr (một loại cây lương thực, hạt nhỏ, người Kinh vẫn thường gọi là hạt bo bo, - gọi là họ Bo Bo)
• Pinãng (nghĩa là cau, nay gọi là họ Cau / họ Cao) (Theo Tô Đông Hải).

Người Raglai sống theo chế độ mẫu hệ, vẫn giữ tục “con gái bắt chồng”, đàn ông sống trọn đời ở nhà vợ, con cái đều lấy họ mẹ. Thông thường con gái út trong gia đình được thừa hưởng tài sản, là có trách nhiệm lớn chăm sóc bố mẹ về tuổi già. Mẹ hay vợ là chủ nhà có quyền quyết định trong gia đình. Cô gái nếu ưng thuận chàng trai nào thì nói với bố mẹ lo lễ cưới chồng. Trong hôn nhân ngoài quyền của người mẹ, tiếng nói của ông cậu khá quan trọng. Tuy nhiên trong các gia đình mà đàn ông Raglai lấy vợ là người Kinh hay người của dân tộc sống theo phụ hệ, thì quyền trong gia đinh nghiêng về người chồng.

Người Raglai có nhiều dòng họ: Chamalea (tiếng Việt dịch là Mấu), Pi Năng (tiếng Việt là họ Cao), KaTơr (tiếng Việt dịch là họ Bo Bo ), Ha Vâu (tiếng Việt dịch là Tro), Patauaxa (tiếng Việt dịch là Đá, Thạch,...), Pupu, Asah, Tala, Jack, Taing, Cao,manuk ( dịch ra tiếng Việt là con gà )... trong đó họ Chamalé là đông hơn cả. Mỗi họ đều có một sự tích, truyền thuyết kể về nguồn gốc của họ mình là người Raglai nói riêng và về dân tộc nói chung.